学习无标记数据的判别性表示是一项具有挑战性的任务。对比性的自我监督学习提供了一个框架,可以使用简单的借口任务中的相似性措施来学习有意义的表示。在这项工作中,我们为使用图像贴片上的对比度学习而无需使用明确的借口任务或任何进一步标记的微调来提出一个简单有效的框架,用于使用对比度学习进行自我监督的图像分割。完全卷积的神经网络(FCNN)以自我监督的方式进行训练,以辨别输入图像中的特征并获得置信图,从而捕获网络对同一类的对象的信念。根据对比度学习的置信图中的平均熵对正 - 和负斑进行采样。当正面斑块之间的信息分离很小时,假定会收敛,而正阴对对很大。我们评估了从多个组织病理学数据集分割核的任务,并通过相关的自我监督和监督方法显示出可比的性能。所提出的模型仅由一个具有10.8K参数的简单FCNN组成,需要大约5分钟才能收敛于高分辨率显微镜数据集,该数据集比相关的自我监督方法小的数量级以获得相似的性能。
translated by 谷歌翻译
生成模型,例如生成对抗网络(GAN)和变异自动编码器(VAE)在医学图像分析中起着越来越重要的作用。这些模型的潜在空间通常显示出与人解剖图像转换相对应的语义有意义的方向。但是,到目前为止,由于有监督数据的要求,他们对医疗图像的探索一直受到限制。无监督在gan潜在空间中可解释方向的几种方法在自然图像上显示出有趣的结果。这项工作探讨了通过训练胸腔CT扫描的gan和vae将这些技术应用于医学图像的潜力,并使用一种无​​监督的方法在产生的潜在空间中发现可解释的方向。我们发现几个方向对应于非平凡的图像转换,例如旋转或乳房大小。此外,该说明表明,尽管仅显示2D数据,但生成模型捕获了3D结构。结果表明,无监督的方法发现甘恩斯的可解释方向概括为VAE,并可以应用于医学图像。这在医学图像分析中使用这些方法打开了许多未来的工作。
translated by 谷歌翻译
由于不断增长的计算要求,深度学习(DL)的能源消耗和碳足迹的增加已成为引起人们关注的原因。在这项工作中,我们关注开发医学图像分析模型(MIA)的碳足迹,其中处理了高空间分辨率的体积图像。在这项研究中,我们介绍并比较了文献中四种工具的特征,以量化DL的碳足迹。使用这些工具之一,我们估计了医学图像分割管道的碳足迹。我们选择NNU-NET作为医疗图像分割管道的代理,并在三个常见数据集上进行实验。在我们的工作中,我们希望告知MIA产生的能源成本不断增加。我们讨论了削减环境影响的简单策略,以使模型选择和培训过程更加有效。
translated by 谷歌翻译
当小鼠脑中的解剖结构要注册为参考地图集时,小鼠脑显微镜图像的精确鉴定是至关重要的第一步。从业人员通常依赖于假定存在完整图像的图像或工具的手动比较。这项工作探索了暹罗网络,作为找到给定的部分2D小鼠脑图像的相应2D参考地图集板的方法。暹罗网络是一类卷积神经网络(CNN),它们使用重量共享路径来获得低维输入图像的低维嵌入。部分小鼠脑图像和参考地图集板之间的对应关系是基于使用对比度学习从暹罗网络获得的脑切片和地图集的低维嵌入之间的距离。实验表明,当训练和测试图像来自相同的来源时,暹罗CNN可以精确地使用艾伦小鼠脑图鉴定脑切片。他们分别获得了25%和100%的前1位和前5个精度,仅需7.2秒即可识别29张图像。
translated by 谷歌翻译
Fingerphoto images captured using a smartphone are successfully used to verify the individuals that have enabled several applications. This work presents a novel algorithm for fingerphoto verification using a nested residual block: Finger-NestNet. The proposed Finger-NestNet architecture is designed with three consecutive convolution blocks followed by a series of nested residual blocks to achieve reliable fingerphoto verification. This paper also presents the interpretability of the proposed method using four different visualization techniques that can shed light on the critical regions in the fingerphoto biometrics that can contribute to the reliable verification performance of the proposed method. Extensive experiments are performed on the fingerphoto dataset comprised of 196 unique fingers collected from 52 unique data subjects using an iPhone6S. Experimental results indicate the improved verification of the proposed method compared to six different existing methods with EER = 1.15%.
translated by 谷歌翻译
This paper addresses the problem of position estimation in UAVs operating in a cluttered environment where GPS information is unavailable. A model learning-based approach is proposed that takes in the rotor RPMs and past state as input and predicts the one-step-ahead position of the UAV using a novel spectral-normalized memory neural network (SN-MNN). The spectral normalization guarantees stable and reliable prediction performance. The predicted position is transformed to global coordinate frame which is then fused along with the odometry of other peripheral sensors like IMU, barometer, compass etc., using the onboard extended Kalman filter to estimate the states of the UAV. The experimental flight data collected from a motion capture facility using a micro-UAV is used to train the SN-MNN. The PX4-ECL library is used to replay the flight data using the proposed algorithm, and the estimated position is compared with actual ground truth data. The proposed algorithm doesn't require any additional onboard sensors, and is computationally light. The performance of the proposed approach is compared with the current state-of-art GPS-denied algorithms, and it can be seen that the proposed algorithm has the least RMSE for position estimates.
translated by 谷歌翻译
We consider stochastic gradient descents on the space of large symmetric matrices of suitable functions that are invariant under permuting the rows and columns using the same permutation. We establish deterministic limits of these random curves as the dimensions of the matrices go to infinity while the entries remain bounded. Under a "small noise" assumption the limit is shown to be the gradient flow of functions on graphons whose existence was established in arXiv:2111.09459. We also consider limits of stochastic gradient descents with added properly scaled reflected Brownian noise. The limiting curve of graphons is characterized by a family of stochastic differential equations with reflections and can be thought of as an extension of the classical McKean-Vlasov limit for interacting diffusions. The proofs introduce a family of infinite-dimensional exchangeable arrays of reflected diffusions and a novel notion of propagation of chaos for large matrices of interacting diffusions.
translated by 谷歌翻译
光学相干断层扫描(OCT)对指纹成像的技术为捕获皮肤层深度信息的能力而为指纹识别开辟了新的研究潜力。如果可以充分利用深度信息,则可以开发健壮和高安全性自动指纹识别系统(AFRSS)。然而,在现有的研究中,基于深度信息的表现攻击检测(PAD)和地下指纹重建被视为两个独立的分支,从而导致AFRS构建的高计算和复杂性。因此,本文提出了一个基于OCT的统一表示模型指纹垫和地下指纹重建。首先,我们设计了一个新型的语义分割网络,该网络仅通过基于OCT的指纹的真实手指切片训练,以从这些切片(也称为B扫描)中提取多个地下结构。从网络中得出的潜在代码直接用于有效检测PA,因为它们包含丰富的地下生物学信息,该信息与PA材料独立,并且对未知PA具有强大的鲁棒性。同时,采用了分段的地下结构来重建多个地下2D指纹。通过使用基于传统2D指纹的现有成熟技术,可以轻松实现识别。广泛的实验是在我们自己已建立的数据库上进行的,该数据库是最大的基于OCT的指纹数据库,具有2449卷。在PAD任务中,我们的方法可以从最先进的方法中提高0.33%的ACC。对于重建性能,我们的方法以0.834 miou和0.937 pa的形式达到了最佳性能。通过与表面2D指纹的识别性能进行比较,我们提出的方法对高质量地下指纹重建的有效性得到了进一步证明。
translated by 谷歌翻译
合成图像合成的巨大进展使得面部图像在高分辨率和光真实主义中产生。在生物识别应用中,使用合成数据的主要动机是解决公共可用生物识别数据的短缺,同时在处理此类敏感信息时降低隐私风险。这些优点在这项工作中被利用,通过模拟近期面部年龄修饰算法以生成交配样本,从而研究衰老对开源生物识别识别系统的性能的影响。此外,实际数据集用于评估短期衰老的影响,将生物识别性能与合成结构域进行比较。主要发现表明,短期老化在1 - 5年的范围内仅对一般识别绩效产生较小的影响。但是,对长期年龄差异超过20年的配对面的正确验证仍然是一个重大挑战,需要进一步调查。
translated by 谷歌翻译
本文介绍了基于2022年国际生物识别技术联合会议(IJCB 2022)举行的基于隐私感知合成训练数据(SYN-MAD)的面部变形攻击检测的摘要。该竞赛吸引了来自学术界和行业的12个参与团队,并在11个不同的国家 /地区举行。最后,参与团队提交了七个有效的意见书,并由组织者进行评估。竞争是为了介绍和吸引解决方案的解决方案,这些解决方案涉及检测面部变形攻击的同时,同时出于道德和法律原因保护人们的隐私。为了确保这一点,培训数据仅限于组织者提供的合成数据。提交的解决方案提出了创新,导致在许多实验环境中表现优于所考虑的基线。评估基准现在可在以下网址获得:https://github.com/marcohuber/syn-mad-2022。
translated by 谷歌翻译